Lã Phạm có tên tự là Tử Hành (子衡), người quận Nhữ Nam huyện Tế Dương. Ông được mô tả là người có dáng dấp, nghi dung đẹp đẽ.

Thời trẻ ông làm huyện lại. Người họ Lưu trong ấp giàu có, có người con gái rất đẹp, Lã Phạm đến cầu thân. Mẹ cô gái không thích, muốn cấm giao du, nhưng cô gái nhất định muốn lấy ông vì cho rằng Lã Phạm có tương lai tốt.